#Video Retrieval

3 篇

VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement

VideoSearch-R1：基于软查询精炼的迭代视频检索与推理智能体

🧭 强化学习驱动的多模态检索智能体与查询精炼 ★ 深度解读

KAIST · Korea University

提出软查询精炼（SQR）在连续潜在空间细化搜索查询，通过强化学习联合优化视频检索与细粒度推理

📌 工作参考价值（4 点）

在电商搜索中，对未命中或模糊查询，可使用软查询精炼（SQR）替代文本改写，直接在嵌入空间生成少量连续向量调优检索结果，避免硬改写引入的语义噪声和过长Token消耗。
检索-验证-精炼的迭代循环（检索→核对匹配→若失败则触发精炼）可引入到商品搜索或推荐系统，实现自主纠错，提升长尾query的召回与精度。
强化学习（GRPO）联合优化检索精炼与下游任务（如点击预测、排序）的思路可复用：设计任务级奖励（如检索召回率、点击奖励），端到端训练查询表示生成策略。
软查询精炼只需少量额外Token（实验中仅8个），工程开销小，适合嵌入现有双塔检索或向量召回架构，作为在线查询优化插件。

Agent | 2026-06-30 | HF Daily | score 8/10

MAVIS：基于结构化视频理解的多智能体视频检索

🧭 多智能体视频检索 · 结构化语义理解 ★ 深度解读

Great Bay University · Nankai University · Tsinghua University · The University of Tokyo

用多智能体协作＋逻辑否决辩论代替全库暴力搜索，实现免训练且高效的视频检索。

📌 工作参考价值（4 点）

结构化属性索引思路可迁移：将商品/素材预解析为场景、对象、动作等属性库，实现按语义类别快速查找，避免每次检索都扫描全库，适合电商多模态搜索和推荐。
多智能体协作的逻辑否决机制：多个专家代理独立提名候选，再通过严格否决协议排除逻辑冲突项，这一思路可直接用于推荐系统的多维度一致性校验（如类目、属性、用户画像冲突过滤），减少错误推荐。
免训练的零样本流程：利用现成 MLLM 和 VLM 完成任务，无需微调，大幅降低业务落地时对标注数据和 GPU 资源的依赖，适合快速迭代的电商场景。
可解释的粗到细检索范式：先粗筛后细排，且每个代理的决策过程可追溯，便于在线 debug 和规则干预，对高可靠要求的电商搜索解释性有借鉴意义。

MultiAgent | 2026-06-08 | cs.CV | score 8/10

Gemini Embedding 2：原生多模态统一嵌入模型

🧭 多模态统一嵌入 · 跨模态检索 ★ 深度解读

Google

基于 Gemini 构建的多模态统一嵌入模型，在文本/图像/视频/音频及交叉任务上达到 SOTA，并展现强零样本域泛化。

📌 工作参考价值（4 点）

原生多模态避免级联损失：音频直接编码方案比 ASR → 文本嵌入领先 +3.6 mrr@10，跨语言场景更达 +5.0。电商语音搜索（如智能客服、语音评论检索）可直接复用，省去 ASR 链路。
交织输入支持复杂搜索意图：模型可接受“图片+文本”或“视频片段+关键词”的组合 query，实现更精准的跨模态检索。在产品推荐中，用户可上传商品图加“类似款但更休闲”的文字，提升搜索命中。
多阶段多任务训练 + Model Soup 平衡通用与领域：PFT → FT → Model Soup 的配方可迁移至业务自有数据，少量领域数据 fine-tune 后通过 soup 恢复通用性，避免 Catastrophic Forgetting。适合电商垂直品类或 Agent 特定工具检索微调。
MRL 多维度输出：单模型支持 768、1536、3072 维，实际部署可按成本/延迟选维度，无需重新训练。推荐系统可用低维向量做召回，高维做精准排序。

Multimodal | 2026-05-25 | HF Daily | score 8/10